package com.single

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object CreateRDD {
  def main(args: Array[String]): Unit = {
    // 1. 得到SparkContext
    val conf = new SparkConf().setMaster("local[3]").setAppName("CreateRDD")
    val sc = new SparkContext(conf)
    // 2. 创建RDD  从scala集合得到RDD
    val arr1 = Array(30, 50, 70, 60, 10, 20)
    //        val rdd: RDD[Int] = sc.parallelize(arr1)
    //makeRDD 和parallelize 方法是一模一样的.
    val rdd: RDD[Int] = sc.makeRDD(arr1)
    // 3. 转换

    // 4. 行动算子  ,如果数据量太大的话,可能会给你的driver撑爆.
    val arr: Array[Int] = rdd.collect()
    arr.foreach(println)
    // 5. 关闭SparkContext
    sc.stop()

  }
}
